Self-Conditioned Positional HNSW for Overlap-Aware Retrieval in Chunked-Document RAG Systems: Method and Industrial Evidence-Quality Audit
面向分块文档RAG的自条件位置HNSW及其工业证据质量审计
🧭 RAG · 重叠感知检索 · 位置编码 ★ 深度解读
eBay Inc.
通过向分块嵌入追加位置编码并设计自条件双阶段查询，在不改动HNSW图结构的前提下缓解重叠区块检索冗余，并引入大规模人工审计评估证据质量
📌 工作参考价值（4 点）
- 位置编码轻量注入HNSW索引：在现有HNSW索引基础上仅扩展2维（半周期sin/cos位置码），不需要改图构建或遍历逻辑，适合在已有向量检索系统上低成本实施。
- 双阶段自条件查询降低冗余：第一轮纯语义检索估计 query 在文档中的大致位置，第二轮用估计的位置先验修正检索方向；此思路也可用于电商客服证据生成等场景，避免同一对话片段反复占据上下文窗口。
- 可审计的最小索引间隔选择器：引入参数 g 保证选入上下文的 chunk 索引差不小于 g，用简单规则通杀相邻重叠，工程实现十分轻量，且 g 值可解释、可审计。
- 人工审计框架直接参考：770条文本证据评分 + 70个OCR用例的多评估者校准方式（加权 Cohen’s κ、Fleiss’ κ）可直接复制到电商问答、商品描述生成的质量评估流程。